- Количество информации
-
Количество информации – в теории информации это количество информации в одном случайном объекте относительно другого. Пусть и – случайные величины, заданные на соответствующих множествах и . Тогда количество информации относительно есть:
,
где
, — энтропия, а
, — условная энтропия, в теории передачи информации она характеризует шум в канале.
Свойства энтропии
Для энтропии справедливы свойства:
,
где количество элементов множества .
При этом, , если один из элементов множества реализуется с вероятностью 1, а остальные, соответственно, 0, в силу того, что и .
Максимум значения энтропии достигается, когда все , т.е. все исходы равновероятны.
Для условной энтропии справедливы свойства:
,
При этом, , если отображение в однозначное, т.е. .
Максимум значения условной энтропии достигается, когда и - независимые случайные величины.
Свойства количества информации
Для количества информации справедливы свойства:
- как следствие теоремы Байеса.
- если и – независимые случайные величины.
Последнее свойство показывает, что количество информации совпадает с энтропией, если компонента потери информации (шум) равна нулю.
В этой статье не хватает ссылок на источники информации. Информация должна быть проверяема, иначе она может быть поставлена под сомнение и удалена.
Вы можете отредактировать эту статью, добавив ссылки на авторитетные источники.
Эта отметка установлена 25 июля 2012.Категория:- Теория информации
Wikimedia Foundation. 2010.